Thomas Royer, eerste heer van Neuville, bouwde aan het einde van de 14de eeuw, onder de heerlijkheid Allodial, het kasteel van Neuville.
Het huidige kasteel werd in 1705 gebouwd in opdracht van Lambertus van Olne, die toen heer was van Neuville-sous-Huy. Omstreeks 1860 kwam het in het bezit van prins Eugène-François-Charles-Lamoral de Ligne van Beloeil, voorzitter van de Belgische senaat. Het was een tijd vol pracht en praal, met prins Albert en de jonge prinses Elisabeth van België, prins Napoleon, en de aartshertogin van Oostenrijk als hoge bezoekers. Tot 1917 bleef het kasteel in handen van de familie de Ligne. In 1918 werd in Neuville-sous-Huy een kamp voor Italiaanse krijgsgevangenen ingericht en het is waarschijnlijk dat het kasteel er ook deel van uitmaakte. Tijdens de Tweede Wereldoorlog werd het kasteel dan weer door de Duitsers opgeëist. In 1946 werd het eigendom van de Belgische staat, die er een home en school inrichtte voor kinderen van schippers, kermisexploitanten en andere ouders zonder vast adres. Deze school moest in juni 1995 haar deuren sluiten. Het kasteel is nu eigendom van een familieonderneming die besloot er een hotel-restaurant van te maken.